Trong 113 năm làm nhà tù, Côn Đảo đã giam giữ hai loại tù chính trị nổi tiếng. Một là tù chống thực dân gồm có Phan Chu Trinh, Huỳnh Thúc Kháng, Ngô Đức Kế, Trần Cao Vân, Tôn Đức Thắng, Phạm Văn Đồng, Lê Duẩn, Lê Đức Thọ, Nguyễn Duy Trinh …